Sau khi dẹp được Tô Tuấn, Dữu Lượng được mời trở về triều đình. Tấn Thành Đế đón tiếp long trọng, sai mang ghế mời ông ngồi và định truy thưởng công cho ông. Dữu Lượng ái ngại vì sự lầm lỡ của mình làm triều đình suýt nguy vong, do đó từ chối và xin từ quan về ẩn cư nhưng Thành Đế không đồng ý. Dữu Lượng vẫn chưa bỏ ý định, mới tìm đường lên thuyền bỏ ra vùng biển Đông Hải, nhưng bị triều đình chặn lại được và đưa về Kiến Khang. Tuy được Thành Đế xá tội nhưng ông vẫn áy nái không yên, bèn xin rời kinh đến trấn ngoài, mới được chấp thuận. Ông được phong làm Trì tiết, Đô đốc Dự châu và Dương châu, Tuyên Thành nội sử và thứ sử Dự châu, đóng ở vùng Vu Hồ. Từ thời điểm đó, Vương Đạo trở lại điều hành chính quyền.

Trong thời gian Dữu Lượng ở Vu Hồ, Hậu tướng quân Quách Mặc ở Bồn Khẩu làm loạn, giết chết Bình Nam tướng quân Lưu Dận. Dữu Lượng bèn dâng biểu xin ra trận đánh dẹp, được thăng làm Chinh thảo đô đốc, cùng các tướng Lộ Vĩnh, Mao Bảo, Triệu Dận, Khuông Thuật và Lưu Sĩ đem theo 20000 quân, hợp sức cùng Thái úy Đào Khản đánh Quách Mặc. Sang năm 330, Quách Mặc bị tiêu diệt, Dữu Lượng không nhận phong thưởng của triều đình và trở lại Vu Hồ[19]. Sau đó triều đình còn phong ông làm Trấn Tây tướng quân nhưng công cũng từ chối. Trước kia do có công dẹp Vương Đôn, triều đình đã phong cho Dữu Lượng làm Vĩnh Xương huyện công, trong mấy năm ông đã từ chối rất nhiều lần, mãi sang 331 mới nhận.

Năm 334, Đào Khản qua đời, Dữu Lượng được thăng làm Đô đốc các châu Giang, Kinh, Dự, Ích, Lương, thứ sử ba châu Giang, Kinh, Dự, Chinh Tây tướng quân, Nghi đồng tam ti và chuyển sang đóng ở Vũ Xương.

Tuy đã rời khỏi chính trường, nhưng với thân phận ngoại thích, Dữu Lượng vẫn nắm trong tay nhiều quyền lực. Trong thời gian đó, Vương Đạo nắm quyền, thi hành chính sách khoan dung quá mức, dung túng nhiều tướng lĩnh như Triệu Dận, Giả Ninh... làm nhiều người bất mãn. Dữu Lượng có ý định diệt trừ Vương Đạo để trở lại triều đình, nên vào năm 338 định liên kết cùng Thái úy Si Giám cùng khởi sự, nhưng Si Giám cự tuyết đi. Dữu Lượng một lần nữa lại sai người đến thuyết phục lần nữa cũng chẳng xong, đành phải từ bỏ ý định[20]. Nhờ đó mà một cuộc đấu tranh giành quyền lực trong triều đình mới không xảy ra.